Livrable D2.2 of the PERSEE project : Analyse/Synthese de Texture

Livrable D2.2 du projet ANR PERSEECe rapport a été réalisé dans le cadre du projet ANR PERSEE (n° ANR-09-BLAN-0170). Exactement il correspond au livrable D2.2 du projet. Son titre : Analyse/Synthese de Textur

Spatial intra-prediction based on mixtures of sparse representations

Abstract-In this paper, we consider the problem of spatial prediction based on sparse representations. Several algorithms dealing with this problem can be found in the literature. We propose a novel method involving a mixture of sparse representations. We first place this approach into a probabilistic framework and then derive a practical procedure to solve it. Comparisons of the rate-distortion performance show the superiority of the proposed algorithm with regard to other stateof-the-art algorithms

Nouvelles méthodes de synthèse de texture ; application à la prédiction et à l'inpainting d'images

This thesis presents novel exemplar-based texture synthesis methods for image prediction (i.e., predictive coding) and image inpainting problems. The main contributions of this study can also be seen as extensions to simple template matching, however the texture synthesis problem here is well-formulated in an optimization framework with different constraints. The image prediction problem has first been put into sparse representations framework by approximating the template with a sparsity constraint. The proposed sparse prediction method with locally and adaptive dictionaries has been shown to give better performance when compared to static waveform (such as DCT) dictionaries, and also to the template matching method. The image prediction problem has later been placed into an online dictionary learning framework by adapting conventional dictionary learning approaches for image prediction. The experimental observations show a better performance when compared to H.264/AVC intra and sparse prediction. Finally a neighbor embedding framework has been proposed for image prediction using two data dimensionality reductions methods: non-negative matrix factorization (NMF) and locally linear embedding (LLE). This framework has then been extended to the image inpainting problem. The experimental evaluations demonstrate the effectiveness of the underlying ideas in both image prediction and inpainting applications.Cette thèse présente de nouvelles méthodes de synthèse de texture basées sur l'exemple pour les problèmes de prédiction d'images (c'est à dire, codage prédictif) et d'inpainting d'images. Les principales contributions de cette étude peuvent aussi être vues comme des extensions du template matching. Cependant, le problème de synthèse de texture tel que nous le définissons ici se situe plutôt dans un contexte d'optimisation formalisée sous différentes contraintes. Le problème de prédiction d'images est d'abord situé dans un contexte de représentations parcimonieuses par l'approximation du template sous contraintes de parcimonie. La méthode de prédiction proposée avec les dictionnaires adaptés localement montrent de meilleures performances par rapport aux dictionnaires classiques (tels que la transformée en cosinus discrète (TCD)), et à la méthode du template matching. Le problème de prédiction d'images est ensuite placé dans un cadre d'apprentissage de dictionnaires en adaptant les méthodes traditionnelles d'apprentissage pour la prédiction de l'image. Les observations expérimentales montrent une meilleure performance comparativement à des méthodes de prédiction parcimonieuse et des prédictions intra de type H.264/AVC. Enfin un cadre neighbor embedding est proposé pour la prédiction de l'image en utilisant deux méthodes de réduction de dimensionnalité: la factorisation de matrice non négative (FMN) et le locally linear embedding (LLE). Ce cadre est ensuite étendu au problème d'inpainting d'images. Les évaluations expérimentales démontrent l'efficacité des idées sous-jacentes pour la compression via la prédiction d'images et l'inpainting d'images

Image prediction based on non-negative matrix factorization

International audienc

Image prediction based on neighbor embedding methods

International audienceThis paper describes two new intraimage prediction methods based on two data dimensionality reduction methods: nonnegative matrix factorization (NMF) and locally linear embedding. These two methods aim at approximating a block to be predicted in the image as a linear combination of -nearest neighbors determined on the known pixels in a causal neighborhood of the input block. Variable can be seen as a parameter controlling some sort of sparsity constraints of the approximation vector. The impact of this parameter as well as of the nonnegativity and sum-to-one constraints for the addressed prediction problem has been analyzed. The prediction and RD performances of these two new image prediction methods have then been evaluated in a complete image coding-and-decoding algorithm. Simulation results show gains up to 2 dB in terms of the PSNR of the reconstructed signal after coding and decoding of the prediction residue when compared with H.264/AVC intraprediction modes, up to 3 dB when compared with template matching, and up to 1 dB when compared with a sparse prediction method

Online dictionaries for image prediction

International audienc